Zyuganov đã viết trên nhiều tờ báo có ảnh hưởng đầu thập niên 1990 chỉ trích Yeltsin và kêu gọi một sự quay trở lại với chủ nghĩa xã hội trong những ngày sau khi Gorbachev phải ra đi. Khi Đảng Cộng sản Liên Xô rơi vào tình trạng xáo trộn, Zyuganov đã góp phần vào sự thành lập Đảng Cộng sản Liên bang Nga (CPRF) mới, và trở thành một trong bảy thư ký của nhóm Uỷ viên Trung ương mới vào năm 1993 trở thành chủ tịch Uỷ ban này. Những nhà quan sát bên ngoài đã rất ngạc nhiên trước sự tiếp tục tồn tại của Đảng Cộng sản của Zyuganov trong thời hậu Xô viết.

Nhanh chóng nổi lên trở thành nhà lãnh đạo phe đối lập thời hậu Xô viết, Zyuganov cho rằng sự tụt dốc của các điều kiện sống của người dân gắn liền với sự tan rã của chủ nghĩa xã hội Xô viết. Quyền lực kinh tế vẫn được tập trung trong tay của một nhóm nhỏ dân cư, tội ác gia tăng, và các nhóm sắc tộc trên toàn nước Nga tổ chức các chiến dịch của riêng mình, thỉnh thoảng mang tính bạo lực, để giành lấy quyền tự quyết. Vì thế, nhiều người Nga nóng lòng muốn quay trở lại với thời chủ nghĩa xã hội, với một chính phủ trung ương hùng mạnh đảm bảo an sinh xã hội và kinh tế cho người dân. Những người Nga bị bóc lột và gánh chịu hậu quả bởi chủ nghĩa tư bản mới xuất hiện trở thành những người ủng hộ Zyuganov: công nhân, viên chức, một số thợ chuyên môn, và, trên tất cả, là những người già. Zyuganov đã thành công trong việc kết hợp các ý tưởng cộng sản với chủ nghĩa quốc gia mới của Nga, Đảng Cộng sản Liên bang Nga của ông bắt tay với nhiều lực lượng cánh tả và cánh hữu theo chủ nghĩa quốc gia khác, tạo thành một 'liên minh yêu nước.'

Trong cuộc bầu cử quốc hội năm 1995, Đảng Cộng sản mới hồi sinh của Liên bang Nga đã thành công lớn, khi lãnh đạo của họ, Gennady Zyuganov, trở thành một đối thủ lớn của Tổng thống Boris Yeltsin. Zyuganov bước vào cuộc Bầu cử Tổng thống Nga năm 1996, với tư cách nhà lãnh đạo của Đảng Cộng sản. Sử dụng chủ nghĩa quốc gia Nga, ông tấn công sự thâm nhập của những ý tưởng phương tây vào xã hội Nga và vẽ ra hình ảnh một nước Nga vĩ đại đã mất bởi những kẻ phản bội từ bên trong móc ngoặc với giới tư bản bên ngoài tìm cách tiêu diệt quyền lực Xô viết nhằm khai thác những nguồn tài nguyên vô tận của Nga.

Trong cuộc bầu cử ngày 16 tháng 6, Zyuganov đứng thứ hai với 32%, chỉ sau Yeltsin, người có được 35% phiếu bầu. Zyuganov chuẩn bị cho cuộc bầu cử vòng hai ngày 3 tháng 7 với sự tự tin lớn. Ông đưa ra một chiến dịch công kích tập trung vào tình trạng sức khoẻ kém cỏi của vị tổng thống đương nhiệm và hứa hẹn đưa nước Nga trở về với những ngày vinh quang thời Xô viết. Tuy nhiên, Yeltsin đã không ngừng khai thác các ưu thế của một tổng thống đương nhiệm, với sự hỗ trợ mạnh về tài chính; nhờ thế đã giành được sự ủng hộ của nhiều đảng nhỏ cũng như của Alexander Lebed và giành thắng lợi cuối cùng trong cuộc đấu.

Các nhà quan sát chính trị cho rằng Zyuganov vẫn là một lực lượng chính trị cần được tính đến trên chính trường Nga, và nhiệm vụ tiếp theo của ông là biến Đảng cộng sản trở thành một phe đối lập mạnh. Nhưng sau cuộc Bầu cử Nghị viện tháng 12 năm 1999, số lượng ghế của những người Cộng sản trong Duma đã giảm sút. Sự ủng hộ dành cho những người Cộng sản bắt đầu giảm sút, trong bối cảnh chính phủ được ủng hộ rộng rãi sau cuộc tấn công vào Chechnya tháng 12 năm 1999 và sự trỗi dậy của vị thủ tướng mới của Yeltsin, Vladimir Vladimirovich Putin, người được cho là người kế thừa đã được chọn lựa của Yeltsin. Hơn nữa, sự ủng hộ dành cho Đảng Cộng sản cũng bị ảnh hưởng khi Yeltsin rời khỏi đời sống chính trị

Vì thế, không ai ngạc nhiên khi Zyuganov về thứ hai với một khoảng cách lớn sau Vladimir Putin trong cuộc bầu cử tổng thống tháng 3 năm 2000. Năm 2004, Zyuganov thậm chí không ra tranh cử chống lại Putin, người đã được tái đắc cử với thắng lợi lớn.

Zyuganov cũng là Chủ tịch của Liên minh các Đảng Cộng sản - Đảng cộng sản Liên Xô (СКП — КПСС) từ năm 2001, thay thế Oleg Semyonovich Shenin.